When2Think: Learning Difficulty-Aware Length Control for Efficient Hybrid Reasoning Models
When2Think：学习难度感知长度控制的高效混合推理
🧭 LLM 推理效率 · 自适应混合推理训练 ★ 深度解读
Sungkyunkwan University · Microsoft
用实例级难度感知奖励塑形动态分配推理深度，在数学基准上实现 AIME24 Pass@3 +10% 且 token -27.9%
📌 工作参考价值（4 点）
- 用离线参考策略统计做难度/预算先验，在 RLVR 奖励中加 correctness-gated efficiency bonus，适合有确定性校验的业务任务（如商品属性抽取、意图分类、SQL 生成），无需在线 critic/参考模型。
- 采用 THINK / NOTHINK 模式 token 训练 system1/system2 自适应路由，可迁移到 Agent 工具调用或 RAG：简单 query 直接回答，复杂 query 才触发多步检索/推理，降低平均延迟与 token 成本。
- BWS 的 batch-wise reward 标准化稳定 critic-free PPO，适合小团队在不训练 reward model/critic 的情况下做后训练，且保留跨实例难度结构。
- 难度用 reference accuracy 而非启发式长度定义，可能更 robust；业务场景可先用较大/teacher 模型对样本滚动评估得到难度标签。